最近的研究表明，自然语言理解中的系统概括仍然是最先进的神经模型（如变形金刚和图形神经网络）的挑战。为了解决这一挑战，我们提出了边缘变压器，这是一种新的模型，将灵感与基于规则的符号AI结合起来。边缘变压器中的第一个关键思想是将矢量状态与每个边缘相关联，即使用每对输入节点 - 与每个节点相对，因为它在变压器模型中完成。第二重要创新是一个三角形关注机制，以通过从逻辑编程的统一启发的方式更新边缘表示。我们在关系推理，语义解析和依赖性解析中评估边缘变压器上的成分泛化基准。在所有三种设置中，边缘变压器优于关系感知，通用和古典变压器基线。

成语与大多数短语不同。首先，成语中的单词具有非规范含义。其次，习语中单词的非传统含义取决于习惯中其他单词的存在。语言理论在这些特性是否相互依赖，以及是否需要特殊的理论机制来容纳成语方面有所不同。我们定义了与上述属性相对应的两个度量，并使用BERT（Devlin等，2019）和XLNet实施它们（Yang等，2019）。我们表明，成语落在两个维度的预期交集处，但是尺寸本身并不相关。我们的结果表明，处理习语的特殊机械可能不保证。

The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

Science tests competing theories or models by evaluating the similarity of their predictions against observational experience. Thus, how we measure similarity fundamentally determines what we learn. In machine learning and scientific modeling, similarity metrics are used as objective functions. A classic example being mean squared error, which is the optimal measure of similarity when errors are normally distributed and independent and identically distributed (iid). In many cases, however, the error distribution is neither normal nor iid, so it is left to the scientist to determine an appropriate objective. Here, we review how information theory can guide that selection, then demonstrate the approach with a simple hydrologic model.

The NASA Astrophysics Data System (ADS) is an essential tool for researchers that allows them to explore the astronomy and astrophysics scientific literature, but it has yet to exploit recent advances in natural language processing. At ADASS 2021, we introduced astroBERT, a machine learning language model tailored to the text used in astronomy papers in ADS. In this work we: - announce the first public release of the astroBERT language model; - show how astroBERT improves over existing public language models on astrophysics specific tasks; - and detail how ADS plans to harness the unique structure of scientific papers, the citation graph and citation context, to further improve astroBERT.

频率调制连续波（FMCW）LIDAR是一种最近新兴的技术，可通过多普勒效应效率进行每次返回的瞬时相对径向速度测量。在这封信中，我们使用这些多普勒速度测量值从FMCW激光雷达（FMCW Lidar）介绍了第一个连续的一次性绕线算法算法，以帮助几何变性环境中的探测率。我们应用现有的连续时间框架，该框架使用高斯工艺回归有效地估算车辆轨迹，以补偿由于任何机械驱动的激光雷达（FMCW和非FMCW）的扫描性质而引起的运动失真。我们在几个现实世界数据集上评估了我们提出的算法，包括我们收集的公开可用数据集和数据集。我们的算法优于也使用多普勒速度测量值的唯一现有方法，我们研究了包括此额外信息在内的困难条件，可大大提高性能。我们还证明了在标称条件下使用多普勒速度测量值的情况下，仅在有和不使用多普勒速度测量的情况下，仅激光射击的前进量的最新性能。该项目的代码可以在以下网址找到：https：//github.com/utiasasrl/steam_icp。

最近一年带来了电动汽车（EV）和相关基础设施/通信的大幅进步。入侵检测系统（ID）被广泛部署在此类关键基础架构中的异常检测。本文提出了一个可解释的异常检测系统（RX-ADS），用于在电动汽车中的CAN协议中进行入侵检测。贡献包括：1）基于窗口的特征提取方法； 2）基于深度自动编码器的异常检测方法； 3）基于对抗机器学习的解释生成方法。在两个基准CAN数据集上测试了提出的方法：OTID和汽车黑客。将RX-ADS的异常检测性能与这些数据集的最新方法进行了比较：HID和GID。 RX-ADS方法提出的性能与HIDS方法（OTIDS数据集）相当，并且具有超出HID和GID方法（CAR HACKING DATASET）的表现。此外，所提出的方法能够为因各种侵入而引起的异常行为产生解释。这些解释后来通过域专家使用的信息来检测异常来验证。 RX-ADS的其他优点包括：1）该方法可以在未标记的数据上进行培训； 2）解释有助于专家理解异常和根课程分析，并有助于AI模型调试和诊断，最终改善了对AI系统的用户信任。

辅助抗菌处方的人工智能（AI）提出了重大的道德问题。利用与AI驱动的系统一起利用道德框架，同时考虑特定的复杂性，可以支持道德决策以应对抗菌抗性。

扩散MRI拖拉术是一种先进的成像技术，可实现大脑白质连接的体内映射。白质拟层将拖拉机分类为簇或解剖学上有意义的区域。它可以量化和可视化全脑拖拉学。当前，大多数拟层方法都集中在深白质（DWM）上，而由于其复杂性，更少的方法解决了浅表白质（SWM）。我们提出了一种新型的两阶段深度学习的框架，即浅表白质分析（SUPWMA​​），该框架对全脑拖拉机的198个SWM簇进行了有效且一致的分析。一个基于点云的网络适应了我们的SWM分析任务，并且监督的对比度学习可以在SWM的合理流线和离群值之间进行更多的歧视性表示。我们在大规模拖拉机数据集上训练模型，包括来自标签的SWM簇和解剖学上难以置信的流线样本的简化样品，我们对六个不同年龄和健康状况的独立获取的数据集进行测试（包括新生儿和具有空间型脑肿瘤的患者） ）。与几种最先进的方法相比，SupWMA在所有数据集上获得了高度一致，准确的SWM分析结果，在整个健康和疾病的寿命中都良好的概括。另外，SUPWMA​​的计算速度比其他方法快得多。

白质图微观结构已显示出影响认知表现的神经心理学评分。但是，尚未尝试从白质图数据中预测这些分数。在本文中，我们提出了一个基于深度学习的框架，用于使用从扩散磁共振成像（DMRI）片段估计的微观结构测量结果进行神经心理学评分的预测，该框架的重点是基于接受语言的关键纤维纤维小道的接受性词汇评估任务的性能弓形筋膜（AF）。我们直接利用来自纤维道中所有点的信息，而无需按照传统上沿着光纤的平均数据进行扩散MRI Tractometry方法所要求的。具体而言，我们将AF表示为点云，每个点都有微观结构测量，从而可以采用基于点的神经网络。我们通过拟议的配对 - 塞亚姆损失来改善预测性能，该损失利用了有关连续神经心理学评分之间差异的信息。最后，我们提出了一种关键区域定位（CRL）算法来定位包含对预测结果有很大贡献的点的信息解剖区域。我们的方法对来自人类Connectome项目数据集的806名受试者的数据进行了评估。结果表明，与基线方法相比，神经心理评分的预测表现优异。我们发现，AF中的关键区域在受试者之间非常一致，额叶皮质区域的强大贡献最多（即，尾部中间额叶，pars opercularis和pars triangularis）与关键区域有着强烈的影响用于语言过程。